Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns
维度袋：维度级符号模式实现无训练机制可解释性
🧭 无训练LLM可解释性 · 符号维度
Amazon Web Services
Transformer隐藏状态标准基中维度符号独立编码语义，纯符号匹配即可高AUC检测概念，无需额外旋转或训练。
📌 工作参考价值（4 点）
- 轻量概念检测：在推荐系统的LLM特征抽取后，可用维度符号模式直接检测商品类目、品牌、情感等概念，无需标注数据训练探针，单次前向即可计算符号一致性得分，AUC可达0.97以上，节省工程成本。
- 高效向量检索：将embedding量化为符号向量（±1），用汉明距离替代cos相似度做近似检索，大幅降低存储和计算，已在LM head中验证符号匹配能保留80-90% top-4096预测，可直接用于召回或排序的近似加速。
- 模型诊断与审计：标准基维度符号独立性强（互信息<0.006 bits），可逐维度解释模型内部概念，用于线上模型漂移监控、偏差检测或新概念发现，无需GPU天级别的重新训练。
- Agent状态校验：在LLM驱动的Agent规划中，可实时检查隐藏状态的符号模式是否对齐安全或业务相关特征，通过翻转特定维度符号做因果干预，低成本实现概念级可控生成。